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摘要 


近 些 年 ， 伴 随 着 计算 机 性 能 的 不 断 提升 ， 人 工 智 能 (Artificial Intelligence, AD 技术 得 
以 迅速 发 展 。 以 深度 神经 网 络 为 代表 的 人 工 智 能 技术 在 包括 自动 驾驶 、 智 慧 城 市 、 医 学 
图 像 等 在 内 的 多 个 领域 取得 了 巨大 突破 , 并 开始 走 进 千 家 万 户 。 在 AI 惠及 大 众 的 同时 ， 
我 们 也 注意 到 AI 能 够 助力 攻击 者 执行 网 络 攻击 任务 。 本 文 对 已 有 的 AI 赋 能 网 络 攻击 案 
例 进行 梳理 , 分 析 AI 在 攻击 任务 中 的 作用 , 将 AI 赋 能 的 网 络 攻击 划分 为 在 线 和 离线 两 
类 ， 并 给 出 相应 的 讨论 与 展望 。 
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1 引言 

人 工 智能 作为 引领 未 来 的 成 略 性 技术 ,日 益 成 为 驱动 经 济 社会 各 领域 从 数字 化 、 网 络 化 
向 智能 化 加 速 跃升 的 重要 引擎 。 近 年 来 ， 数 据 量 爆 发 式 增长 、 计 算 能 力 显 著 性 提升 、 深 
度 学 习 算 法 突破 性 应 用 ， 极 大 地 推动 了 人 工 智 能 发 展 。 然 而 ， 技 术 往往 具备 两 面 性 。 当 
技术 应 用 于 好 的 一 面 时 ， 能 推动 科技 发 展 和 社会 进步 ; 而 当 其 应 用 在 不 好 的 一 面 时 ， 能 
造成 发 展 停滞 和 社会 动 落 。 人 工 智能 技术 也 是 如 此 。 当 应 用 在 网 络 安全 领域 时 ， 人 工 智 
能 可 以 在 入 侵 检测 、 恶 意 代码 防御 、 态 势 感知 等 多 个 方向 提供 有 力 支 撑 ， 也 可 以 助力 攻 
击 者 执行 更 加 高 效 和 难以 防御 的 网 络 攻击 。 


H 


2018 Æ, 由 来 自 26 所 不 同 研究 机 构 的 科学 家 联名 发 布 了 针对 恶意 利用 人 工 智能 的 报告 ， 
提出 了 恶意 利用 AI 可 能 导致 的 数字 安全 、 物 理 安 全 和 政治 安全 风险 ， 号 召 全 世界 的 AI 
研究 团队 警惕 AI 安全 风险 ， 抵 制 针对 AI 的 恶意 利用 行为 。 随 着 AI 安全 风险 的 加 剧 ， 
一 些 知名 安全 厂商 也 对 AI 应 用 于 网 络 攻击 的 趋势 进行 了 预测 。BeyondTrust[1] 在 网 络 安 
全 发 展 趋势 预测 中 指出 , 机 器 学 习 训 练 数据 污染 、AI 武器 化 的 泛滥 将 给 网 络 安全 带 来 巨 
大 挑战 。 Check Point[2] 在 网 络 威胁 趋势 预测 中 认为 , A 技术 呈现 武器 化 趋势 。 Gartner[3] 
则 表示 ， 到 2022 年 ，30% 的 网 络 攻击 将 与 人 工 智 能 安全 有 关 ， 人 工 智 能 趋 于 工程 化 。 
Fortinet[4] 也 认为 , 借助 于 多 形态 恶意 代码 的 进化 、 集 群 攻击 和 人 工 智能 的 武器 化 成 为 趋 
势 。 尽 管 人 工 智能 可 以 运用 在 多 个 领域 (如 自动 驾驶 、 武 装 器 械 、 智 能 家 居 等 ) ， 本 文 
主要 关注 其 在 网 络 安全 领域 的 应 用 ， 侧 重点 在 网 络 层 及 以 上 ， 聚 焦 于 应 用 层 。 


近 些 年 , 我 们 见 到 了 一 些 AI 应 用 于 网 络 攻击 方面 的 案例 。 为 了 更 好 地 研究 AI 赋 能 的 网 
络 攻击 所 具有 的 特性 ， 更 有 效 地 进行 针对 性 的 防御 工作 ， 有 必要 对 AI 赋 能 的 网 络 攻 击 
案例 进行 梳理 , 有 必要 研究 AI 在 网 络 攻 击 中 起 到 的 作用 。 为 此 , 本 文 将 梳理 相关 案例 ， 
分 析 攻 击 类 别 ， 研 究 AI 作用 ， 提 出 分 类 方法 ， 并 对 AI 赋 能 的 网 络 攻击 发 展 趋势 进行 展 
望 。 


2 攻击 案例 回顾 
本 章 对 部 分 有 代表 性 的 AI 赋 能 网 络 攻击 的 案例 进行 回顾 。 


2016-2019 

2016 年 ，Seymour 等 [5] 在 全 球 著名 的 黑客 大 会 BlackHat 上 提出 借助 人 工 智 能 技术 在 推 
特 上 进行 高 度 定制 化 的 自动 化 鱼 又 式 钓鱼 的 方法 , 该 方法 使 用 聚 类 对 高 价值 的 目标 进行 
第 选 ， 结 合 自然 语言 处 理 领 域 的 方法 分 析 目 标 感 兴 趣 的 话题 构建 SNAP_R (社交 网 络 
自动 侦察 钓鱼 ，Social Network Automated Phishing with Reconnaissance) 基于 LSTM 生 
成 鱼 又 式 钓鱼 内 容 ， 并 能 根据 目标 活动 时 间 推 送 给 目标 ， 引 诱 目标 上 钩 。 


Sivakorn 等 [6] 在 BlackHat 上 提出 了 自动 化 绕 过 谷歌 rrCAPTCHA 的 方法 。 借 助 对 图 片 
的 描述 词 ， 对 给 出 的 图 片 进行 切割 并 利用 在 线 平台 进行 检索 ， 通 过 使 用 NLP 方法 提取 
页 面 返回 的 信息 计算 和 描述 词 的 相似 度 ， 可 判断 所 选 图 片 是 否 为 目标 图 片 。 当 外 部 网 络 
不 可 达 时 ， 可 以 使 用 离线 模型 进行 判断 。 


Anderson 等 [7] 提 出 DeepDGA， 提 出 结合 自 编码 器 CAuto-Encoder) 和 长 短期 记忆 网 络 
(Long Short-Term Memory) 学 习 Alexa Top 100M 域名 的 特征 ， 将 编码 器 和 解码 器 在 生 
成 对 抗 网 络 〈 检 测 器 + 生成 器 ) 中 重新 组 装 ， 生 成 仿真 度 极 高 的 DGA 域名 ， 能 够 绕 过 
DGA 检测 器 。 


© 2017 年 ，Baki 等 [8] 利 用 希拉 里 “邮件 门 ”事件 中 泄露 的 电子 邮件 ， 使 用 自然 语言 处 理 
的 技术 分 析 邮 件 文 法 特征 ， 生 成 (伪造 ) 一 批 来 自 希 拉 里 和 佩 林 的 邮件 让 其 他 人 进行 辩 
别 。 结 果 显 示 ， 多 数 人 认为 生成 的 邮件 来 自 于 希拉 里 和 佩 林 ， 甚 中 因 语言 通俗 等 原因 ， 
来 自 “ 希 拉 里 ”的 邮件 得 到 了 更 多 的 票数 。 该 项 技术 可 用 于 鱼 叉 式 钓鱼 ， 生 成 高 仿真 的 
钓鱼 邮件 。 


Hu 等 [9] 提 出 使 用 生成 对 抗 网 络 算法 产生 对 抗 恶意 软件 样本 ， 使 用 生成 模型 给 恶意 样本 
添加 扰动 , 用 蔡 代 检测 器 判断 样本 是 否 为 恶意 ， 蔡 代 检 测 器 由 良性 样本 和 生成 模型 生成 
的 对 抗 样本 训练 而 来 ， 起 到 模拟 黑 盒 检测 器 的 作用 。 通 过 对 抗 训练 的 过 程 ， 能 够 最 小 化 
生成 对 抗 样本 被 检 出 的 概率 。 


2018 Æ, Kirat 等 [10] 在 BlackHat 上 提出 了 DeepLocker, 用 于 定 回 隐蔽 攻击 。DeepLocker 
根据 攻击 目标 信息 训练 神经 网 络 模型 ， 用 模型 的 输出 结果 将 作为 对 称 密码 算法 的 密 钥 ， 
加 密 恶 意 载 荷 。 当 发 现 目标 时 ， 神 经 网 络 模型 能 够 输出 正确 解密 密 钥 解 开 载荷 执行 恶意 
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功能 。 当 目标 未 出 现时 ， 由 于 神经 网 络 模型 的 单 向 性 和 抗 磁 撞 性 ， 分 析 人 员 无 法 构建 触 
发 条 件 获取 密 钥 ， 进 而 抵抗 分 析 。 


Bahnsen 等 [11] 在 BlackHat 上 提出 自动 化 钓鱼 工具 DeepPhish, 使 用 LSTM 学 习 URL 的 
特征 ， 并 构造 恶意 TLS 证 书 构建 钓鱼 页 面 。 与 普通 方法 对 比 ，DeepPhish 能 使 钓鱼 成 功 
率 提升 20% 到 3096. 


Takaesu[12] 提 出 自动 化 渗透 测试 攻击 DeepExploit， 使 用 强化 学 习 对 给 定 的 目标 进行 扫 
描 和 探测 ， 并 根据 探测 结果 利用 Metasploit 进行 自动 化 的 渗透 测试 ， 在 测试 结束 后 生成 
测试 报告 。 


Anderson 等 [13] 提 出 利用 强化 学 习 的 激励 和 反馈 机 制 修改 静态 PE 恶意 代码 的 结构 特征 
来 规避 检测 的 方法 ， 使 用 黑 盒 检测 器 作为 样本 修改 结果 的 反馈 源 ， 通 过 增加 无 用 函数 调 
用 、 修 改 段 名 、 移 除 签名 信息 等 方式 得 到 能 逃逸 检测 的 样本 。 


Ye 等 [14] 提 出 一 种 新 的 文本 类 验证 码 破 解 方法 。 与 已 有 使 用 大 量 手动 标记 的 真实 验证 码 
进行 学 习 的 破解 器 不 同 ， 这 里 采用 生成 对 抗 网 络 的 方式 ， 用 己 有 的 数据 库 训 练 验证 码 模 
型 ， 当 遇 到 新 的 验证 码 时 ， 使 用 迁移 学 习 方法 ， 仅 需要 少量 的 新 验证 码 数据 就 能 得 到 很 
好 的 破解 效果 。 


Rigaki 等 [15] 提 出 使 用 生成 对 抗 网 络 模拟 Facebook 聊天 的 流量 来 逃避 基于 流量 分 析 的 检 
测 器 ， 该 方法 使 用 Stratosphere Linux IPS 做 检测 器 来 检测 流量 是 否 为 Facebook 聊天 流 
量 ， 使 用 RNN 和 LSTM 构建 生成 器 和 判别 器 ， 只 有 当 检 测 器 认为 所 生成 的 流量 为 
Facebook 聊天 流量 时 才 了 予以 放行 ,用 训练 出 的 参数 在 恶意 代码 活动 中 进行 流量 生成 来 绕 
过 基于 流量 的 检测 器 。 


2020-2021 

2020 Æ, Li 等 [16] 提 出 在 特征 空间 中 生成 对 抗 性 特征 向 量 ， 将 向 量 转换 为 对 抗 性 恶意 
PDF 组 件 , 修改 PDF 文件 CRT 与 尾部 之 间 的 特征 , 能 生成 逃避 PDF 恶意 代码 检测 器 的 
恶意 PDF 文件 。 通 过 在 PDFRate 分 类 器 上 评估 该 方法 ， 能 在 四 种 逃避 情况 下 对 目标 系 
统 知识 进行 攻击 。 


Novo 等 [17] 提 出 了 一 个 基于 流 的 C2 流量 检测 器 和 基于 代理 的 C2 流量 规避 检测 方法 ， 
使 用 快速 梯度 符号 法 (Fast Gradient Sign Method, FGSM) 用 和 白 盒 方法 在 保证 数据 通信 
功能 的 条 件 下 ， 打 破 C2 数据 流 的 统计 特征 ， 对 抗 恶 意 C2 流量 检测 器 。 


Wang 等 [18] 提 出 使 用 神经 网 络 进行 C2 寻 址 的 方法 DeepC2， 借 助 神经 网 络 模型 的 不 可 
DHE, 使 用 神经 网 络 模型 识别 控制 端 账号 的 头像 进行 寻 址 ， 同 时 使 用 数据 增强 技术 解决 
以 往 基于 社交 网 络 平台 的 C2 中 的 异常 内 容 问题 。 


Yuan 等 [19] 提 出 了 端 对 端 字 节 级 黑 盒 对 抗 攻击 方法 ， 用 生成 器 生成 一 段 Payload 添加 在 
样本 后 , 通过 黑 盒 检测 器 的 反馈 结果 训练 鉴别 器 。 在 使 用 时 ,只 需要 生成 器 生成 Payload 


即 可 对 抗 检测 器 。 此 方法 


能 在 添加 的 Payload 长 度 为 2.5% 时 达到 100% 的 逃逸 成 功率 。 


XunSu 等 [20] 提 出 使 用 自然 语言 处 理 和 LSTM 批量 自动 化 探测 WAF 规则 的 方法 ， 通 过 
数据 加 算法 加 探测 的 方式 ， 自 动 化 提取 Payload 的 文本 特征 ， 采 用 注意 力 机 制 增强 关键 
词 学 习 ， 根 据 经 验 自动 化 方法 确定 在 不 同位 置 上 使 用 的 不 同 关 键 字 ， 能 线 上 反馈 探测 打 
击 边界 ， 实 现 WAF 绕 过 。 


2021 Œ, Wang 等 [21] 提 出 在 神经 网 络 模型 中 嵌入 恶意 代码 来 进行 攻击 载荷 投递 的 方法 
EvilModel, 通过 分 析 神 经 


可 以 在 不 影响 模型 性 能 的 


3 攻击 分 类 
上 一 章 对 部 分 有 代表 性 的 


攻击 中 起 到 的 作用 进行 分 
根据 攻击 场景 的 不 同 ， 上 述 案 例 可 以 分 为 以 下 几 个 方面 : 
。 ”自动 化 生成 。 典 型 的 案例 有 推 特 及 邮件 钓鱼 [5][8]、 恶 意 样本 生成 [9]、 恶 意 流 量 


生成 [15][17] 等 。 


网 络 模型 的 结构 , 将 神经 网 络 的 神经 元 及 参数 替换 为 恶意 代码 ， 
条 件 下 ， 将 大 体积 的 恶意 代码 免 杀 地 投递 到 目标 设备 上 。 


AI 赋 能 网 络 攻击 的 案例 进行 了 回顾 。 本 章 针 对 AI 在 这 些 网 络 
DIE 


。 自动 化 攻击 。 典 型 的 案例 有 DeepExploit[12] 等 。 


。 HK. 典型 的 案例 有 各 种 钓鱼 攻击 ， 如 推 特 钓 鱼 [5]、 邮 件 钓 鱼 [8]、DeepPhish[11] 


A^ 
等 。 


。 检测 逃逸 。 典 型 的 案例 有 恶意 域名 检测 器 的 逃逸 [7]、 恶 意 软 件 检测 器 的 逃逸 
[13][19][21]、 亚 意 流 量 检测 器 的 逃逸 [15] 等 。 


。 破解 。 典 型 的 案例 


有 人 机 交互 图 灵 测 试 的 破解 [6][14、 防火 墙 规则 的 破解 [20] 等 。 


。 目标 识别 。 典 型 的 案例 有 识别 攻击 对 象 [10]、 识 别 攻击 者 [18] 等 。 


在 不 同 的 场景 中 ，AI 发 挥 着 不 同 的 作用 。Minsky 等 [22] 结 合 AI 具备 的 能 力 ， 将 AI 在 


网 络 攻 击 中 的 作用 总 结 如 


F: 


。 预测 ， 即 根据 已 有 数据 进行 预测 。 


。 生成 ， 即 根据 目标 情况 生成 新 的 内 容 。 
。 分 析 ， 即 从 已 有 数据 中 挖 气 有效 信息 。 


。 检索 ， 即 从 已 有 数据 中 搜索 报告 目标 信息 。 


。 决策 ， 即 根据 已 有 信息 对 下 一 步行 动 给 出 指导 。 


根据 对 AI 的 使 用 不 同 ， 可 以 将 AI 赋 能 的 网 络 攻击 分 为 “在 线 ” 和 “离线 ”两 类 ; 
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e "TEX" Conline) 18 AI 模型 直接 用 在 攻击 过 程 中 ， 其 输出 结果 直接 用 于 在 执行 
中 的 攻击 任务 。 

。 “AR” Coffline) 指 AI 模型 处 于 攻击 活动 的 后 方 ， 其 输出 结果 可 用 于 攻击 任 
务 中 ， 也 可 不 用 于 攻击 任务 中 。 


具体 地 ，“ 在 线 ” 聚 焦 于 AI 模型 和 方法 本 身 的 特性 ， 利 用 AI 与 其 他 方法 不 同 的 特点 ， 
将 其 应 用 于 网 络 攻 击 的 特定 任务 中 ; “离线 ”聚焦 于 AI 能 干什么 、 能 用 在 网 络 攻击 的 
哪个 环节 , 其 主要 任务 是 将 人 能 做 到 的 事情 自动 化 、 智能 化 , 比 人 工 要 快要 好 。“ 在 线 ” 
模式 中 ，AI 模型 处 于 目标 环境 中 ， 而 “离线 ”模式 中 ，AI 模型 处 于 攻击 者 的 环境 中 。 
按照 “在 线 ” 和 “离线 ”的 定义 和 划分 ， 现 有 的 大 部 分 案例 都 属于 “离线 ”范畴 ， 如 下 : 


。 “和 在线” 模式 典型 案例 : DeepLocker、DeepC2、EvilModel、 集 和 群 智能 等 。 
。 “离线 ”模式 典型 案例 : 恶意 内 容 生成 类 、 坎 骗 类 、 破 解 类 、 自 动 化 攻击 类 等 。 


无 论 是 “在 线 ” 还 是 “离线 ”， 上 述 案例 都 是 AI 赋 能 的 网 络 攻击 的 重要 组 成 部 分 ， 如 
Al. 
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攻击 模式 内 容 AI 作用 典型 案例 
在 线 AI 模型 直接 用 在 攻击 过 程 中 ， 其 输出 生成、 检索 、 DeepLocker 、 DeepC2 、 
结果 直接 用 于 在 执行 中 的 攻击 任务 。 AR EvilModel、 集 群 智 能 等 。 


离线 AI 模型 处 于 攻击 活动 的 后 方 ， 其 输出 ”预测 、 生 成 、 恶意 内 容 生 成 类 、 欺 骗 类 、 
结果 可 用 于 攻击 任务 中 ， 也 可 不 用 于 分析、 决策 ”破解 类 、 自 动 化 攻击 类 等 。 
攻击 任务 中 。 


4 讨论 与 展望 

从 严格 意义 上 说 ，AI 赋 能 的 网 络 攻击 不 属于 “人 工 智 能 安全 ”范畴 ， 而 是 “人 工 智能 + 
安全 ”范畴 ， 属 于 人 工 智能 在 网 络 安全 领域 (尤其 是 网 络 攻击 领域 ) 的 应 用 。 纯粹 的 “人 
工 智能 安全 ”是 指 人 工 智能 自身 的 安全 问题 ， 涉 及 到 人 工 智能 模型 安全 、 人 工 智能 数据 
安全 、 人 工 智能 框架 安全 等 , 腾讯 的 相关 团队 [23] 对 已 有 工作 做 了 总 结 ， 如 表 2。 此 外 ， 
AI 应 用 于 网 络 安全 的 检测 与 防护 也 属于 人 工 智能 的 应 用 ， 同 属于 “人 工 智能 + 安全 ”. 
将 攻防 两 个 子 方向 合并 ， 可 得 到 人 工 智能 安全 的 更 完整 的 划分 ， 如 图 。 


提 及 人 工 智 能 自身 的 安全 问题 ， 就 要 引申 出 新 的 一 类 攻击 ， 即 针对 人 工 智能 的 弱点 ， 对 
部 署 有 人 工 智 能 装置 的 智能 化 系统 的 攻击 。 比 如 已 有 攻击 案例 中 的 检测 逃逸 类 ， 其 目标 
就 是 部 署 有 基于 人 工 智 能 方法 的 恶意 目标 检测 器 。 攻 击 者 也 可 以 对 已 有 的 智能 化 系统 进 
行 模型 鳃 取 、 数 据 投 毒 、 对 抗 样本 等 攻击 ,干扰 系统 的 正常 运行 。 此 类 攻击 正 处 于 发 展 
阶段 。 可 以 预见 的 ， 未 来 几 年 ， 相 关 领 域 的 成 果 将 不 断 出 现 。 


人 工 智 能 助力 网 络 防御 人 工 智 能 助力 网 络 攻击 


框架 安全 


模型 安全 


数据 安全 人工 智 能 自身 安全 
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TERI E. HF AI 模型 运行 所 需要 的 各 种 资源 《〈 算 力 、 数 据 、 模 型 等 ) ，AI 赋 能 的 网 
络 攻 击 (尤其 是 “在 线 ” 模 式 的 网 络 攻 击 ) 尚且 不 能 应 用 于 真实 世界 的 网 络 攻击 任务 中 。 
随 着 AI 的 进一步 推广 和 普及 ， 未 来 计算 设备 可 能 集成 相关 的 资源 ， 使 攻击 者 得 以 实施 
此 类 攻击 。 因 此 ， 相 关 领 域 的 研究 人 员 有 必要 提高 警惕 ， 预 先 对 此 类 攻击 进行 有 针对 性 
的 防护 工作 ， 进一步 保护 和 提升 各 类 信息 系统 的 安全 性 ,在 此 类 攻击 出 现 的 第 一 时 间 内 
做 到 有 效 防御 。 


x2 ALIBEEILH ZEBA] 


chinaXiv:202201.00085v1 


环境 接触 数据 搜集 | 模型 训练 | 模型 部 署 模型 使 用 模型 架构 | 结果 
整理 影响 
依赖 软件 攻 | 数据 投 毒 | 梯度 中 恢复 | 模型 中 数据 | 数字 对 抗 攻击 | 查询 式 架 构 | 模 型 
E 数据 恢复 DR ixl 
Docker 恶意 | 数据 后 门 | 初始 权重 修 | 模型 文件 攻 | 物理 对 抗 攻击 | 侧 信道 架构 SR 
访问 攻击 改 击 窃取 泄露 
硬件 模型 后 代码 攻击 TUS Ej XR 
门 攻击 
供应 链 攻击 训练 后 门 攻 GPU/CPU 涪 
击 出 破坏 
非 集中 式 部 
A 
5 总 结 


本 文 针 对 AI 赋 能 的 网 络 攻击 进行 了 梳理 和 分 类 。 本 文 首 先 分 析 了 网 络 安全 形势 ， 筛 选 
了 近 些 年 具有 代表 性 的 AI 赋 能 的 网 络 攻击 案例 , 对 相关 工作 进行 了 简要 的 介绍 。 随后， 

本 文 研究 和 分 析 了 AI 在 相关 案例 中 的 作用 ， 并 根据 各 类 攻击 任务 对 AI 的 使 用 不 同 将 
AI 赋 能 的 网 络 攻击 分 为 “在 线 ” 和 “离线 ”两 种 模式 ， 对 两 种 模式 进行 介绍 。 最 后 ， 本 
文 对 人 工 智 能 和 网 络 安全 的 结合 应 用 做 了 讨论 和 展望 。 网 络 攻击 与 防御 是 相生 相伴 的 技 
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术 ， 二 者 此 消 彼 长 ， 相 互 促进 。 我 们 有 理由 认为 ， 未 来 的 信息 系统 内 会 集成 针对 AI 赋 
能 的 网 络 攻击 的 防护 ,未 来 的 防御 手段 也 会 借助 于 智能 化 的 力量 更 加 强大 、 更 有 力 地 保 
障 网 络 空 间 安 全 。 
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